경사하강법

미분

  • 미분은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 가장 많이 사용하는 기법이다.
  • 미분은 함수 f의 주어진 점 (x, f(x))에서의 접선의 기울기를 구한다.
  • 미분값을 더하면 경사상승법(gradient ascent)이라 하며, 함수의 극대값의 위치를 구할 때 사용한다.
  • 미분값을 빼면 경사하강법(gradient descent)이라 하며, 함수의 극소값의 위치를 구할 때 사용한다.
  • 경사상승/경사하강법은 극값에 도달하면 움직임을 멈춘다.
자세히 보기

행렬이 뭐에요?

행렬이란?

  • 행렬은 벡터를 원소로 가지는 2차원 배열
  • 행렬은 행과 열이라는 인덱스를 가진다.
  • 행렬의 특정 행(열)을 고정하면 행(열)벡터라고 부른다.
  • 전치행렬(transpose matrix)은 행과 열의 인덱스가 바뀐 행렬이다.
  • 벡터가 공간에서 한 점이었다면, 행렬은 여러 점을 나타낸다.
  • 행렬끼리 같은 모양을 가지면 덧셈, 뺄셈, 성분곱을 계산할 수 있다.
  • 행렬곱은 i번째 행벡터와 j번째 열벡터 사이의 내적을 성분으로 가지는 행렬을 계산한다.
  • 행렬은 벡터공간에서 사용되는 연산자(operator)로 이해한다.
  • 행렬곱을 통해 벡터를 다른 차원의 공간으로 보낼 수 있다.
  • 행렬곱을 통해 패턴을 추출할 수 있고, 데이터를 압축할 수도 있다.
  • 모든 선형변환(linear transform)은 행렬곱으로 계산할 수 있다.
자세히 보기

벡터가 뭐에요?

벡터란?

  • 벡터는 공간에서 한 점 을 나타낸다.
  • 벡터는 원점으로부터의 상대적인 위치 를 표현한다.
  • 벡터에 숫자를 곱해주면(스칼라곱) 길이가 변하지만, 스칼라가 0보다 작다면 반대 방향 이 된다.

  • 벡터는 숫자를 원소로 가지는 리스트 혹은 배열이다.

  • 벡터끼리 같은 모양을 가지면 덧셈, 뺄셈, 성분곱을 계산할 수 있다.
  • 두 벡터의 덧셈은 다른 벡터로부터 상대적인 위치 이동 을 표현한다. (뺄셈은 방향을 뒤집은 덧셈)
    • 벡터 x에 대하여, $x = 0 + x$ 가 성립한다. 즉 x라는 벡터는 원점벡터에서부터의 상대적인 위치를 나타낸다.
자세히 보기

3주차 - 딥러닝을 이용한 자연어처리 입문(위키독스)

42NLP_week3

2주차 - 딥러닝을 이용한 자연어처리 입문(위키독스)

nlp_week2

1주차 - 딥러닝을 이용한 자연어처리 입문(위키독스)

deeplearning_with_nlp